![TiDB Cloud APIを使って、請求情報をEventBridge Scheduler+Lambda+SNSで定期通知してみた](https://devio2023-media.developers.io/wp-content/uploads/2023/05/eyecatch_TiDBCloud_1200x630.jpg)
TiDB Cloud APIを使って、請求情報をEventBridge Scheduler+Lambda+SNSで定期通知してみた
こんにちは、ゲームソリューション部のsoraです。
今回は、TiDB Cloud APIを使って、請求情報をEventBridge Scheduler+Lambda+SNSで定期通知してみたことについて書いていきます。
構成
EventBridge Schedulerで指定した間隔でLambdaを呼び出して、TiDB Cloud APIを使っての請求情報を取得して、SNS経由でSlack通知する構成です。
Lambda(Python)コード
今回の構成では、TiDB Cloud APIから情報取得する用とSlack通知用の2つがあります。
ディレクトリ構成は以下です。
. ├── lambda │ ├── slack_notification.py │ └── tidb-api │ ├── dist │ │ └── tidb_api.py │ └── requirements.txt ├── main.tf └── terraform.tfvars
TiDB Cloud APIから情報取得するLambdaコードは以下です。
月初と月中で情報を取得することを想定しています。
※テストのためTiDBのAPIキーをLambdaに書くようにしていますが、本来だと良くないためSecrets Managerなどで管理するようにしてください。
TiDB Cloud APIについては、以下をご参照ください。
Billing System OPENAPI (v1beta1)
import boto3 import json import os import requests from requests.auth import HTTPDigestAuth import datetime from dateutil.relativedelta import relativedelta from zoneinfo import ZoneInfo SNSTopicArn = os.environ['SNSTopicArn'] TiDBAPIPublicKey = os.environ['TiDBPublicKey'] TiDBAPIPrivateKey = os.environ['TiDBPrivateKey'] def lambda_handler(event, context): public_key = TiDBAPIPublicKey private_key = TiDBAPIPrivateKey # 実行する年月を取得 date_source = datetime.datetime.now(ZoneInfo("Asia/Tokyo")).date() if date_source.day == 1: date_source = date_source - relativedelta(months=1) date = str(date_source) year_month = date[0:7] r_get = requests.get('https://billing.tidbapi.com/v1beta1/bills/' + year_month, auth=HTTPDigestAuth(public_key, private_key)) billing_source = r_get.json() print(billing_source) message = [] message.append("TiDB Cloudの利用料を通知します。") message.append(f"利用年月: {billing_source['overview']['billedMonth']} ,利用料: {billing_source['overview']['runningTotal']}") if billing_source['overview']['runningTotal'] != "0": for project in billing_source['summaryByProject']['projects']: message.append(f"プロジェクト名: {project['projectName']} ,プロジェクト利用料: {project['runningTotal']}") print(message) # メッセージをSNSに送信 # 通知を送信するSNSトピックのARNを指定 sns_client = boto3.client('sns') sns_topic_arn = SNSTopicArn sns_client.publish( TopicArn=sns_topic_arn, Message=json.dumps(message, indent=3, ensure_ascii=False) )
Pythonのライブラリはrequirements.txtを使って取得します。
requests==2.31.0 datetime==5.2 python-dateutil==2.8.2 urllib3==1.26.17
boto3を使うときに、urlib3 2.xを使っていると以下エラーが出たため、urlib3 1.xを指定しています。
cannot import name 'DEFAULT_CIPHERS' from 'urllib3.util.ssl_
参考:"cannot import name 'DEFAULT_CIPHERS' from 'urllib3.util.ssl_'"の原因
Slack通知用のLambdaは、色々なところで紹介されていると思いますので割愛します。
Terraformコード
Terraformを使って作成します。
variable tidb_public_key {} variable tidb_private_key {} variable slack_webhook_url {} variable slack_channel_name {} terraform { #AWSプロバイダーのバージョン指定 required_providers { aws = { source = "hashicorp/aws" version = "~> 5.19.0" } } #tfstateファイルをS3に配置する(配置先のS3は事前に作成済み) backend s3 { bucket = "<S3 bucket名>" region = "ap-northeast-1" key = "tidb-api.tfstate" } } #AWSプロバイダーの定義 provider aws { region = "ap-northeast-1" } #============ IAMロール作成 start ============ ##EventBridge Sheduler data aws_iam_policy_document events_assume_role { statement { effect = "Allow" principals { type = "Service" identifiers = ["scheduler.amazonaws.com"] } actions = ["sts:AssumeRole"] } } resource aws_iam_role iam_for_events { name = "EventBridge_TiDB_API_Role" assume_role_policy = data.aws_iam_policy_document.events_assume_role.json managed_policy_arns = ["arn:aws:iam::aws:policy/service-role/AWSLambdaRole"] } ##Lambda(TiDB APIの情報取得用) data aws_iam_policy_document lambda_assume_role { statement { effect = "Allow" principals { type = "Service" identifiers = ["lambda.amazonaws.com"] } actions = ["sts:AssumeRole"] } } resource aws_iam_role iam_for_lambda { name = "Lambda_TiDB_API_Role" assume_role_policy = data.aws_iam_policy_document.lambda_assume_role.json inline_policy { name = "my_inline_policy" policy = jsonencode({ Version = "2012-10-17" Statement = [ { Action = ["sns:Publish"] Effect = "Allow" Resource = "*" }, ] }) } } #============ IAMロール作成 end ============ #============ リソース作成 start ============ ##SNS(トピック) ###トピックの作成 resource aws_sns_topic tidb_api_topic { name = "TiDB-API-topic" } data aws_iam_policy_document sns_assume_role { statement { effect = "Allow" principals { type = "Service" identifiers = ["lambda.amazonaws.com"] } actions = ["sns:Publish"] resources = [aws_sns_topic.tidb_api_topic.arn] } } resource aws_sns_topic_policy sns_topic_policy { arn = aws_sns_topic.tidb_api_topic.arn policy = data.aws_iam_policy_document.sns_assume_role.json } ##Lambda(TiDB APIの情報取得用) data archive_file lambda_tidbapi { type = "zip" source_dir = "lambda/tidb-api/dist" output_path = "tidb_api.zip" } resource aws_lambda_function lambda_tidbapi { filename = "tidb_api.zip" function_name = "tidb-api-execution" role = aws_iam_role.iam_for_lambda.arn handler = "tidb_api.lambda_handler" source_code_hash = data.archive_file.lambda_tidbapi.output_base64sha256 runtime = "python3.10" timeout = 30 environment { variables = { SNSTopicArn = aws_sns_topic.tidb_api_topic.arn TiDBPublicKey = var.tidb_public_key TiDBPrivateKey = var.tidb_private_key } } } ##Lambda(Slack通知用) data archive_file lambda_slack { type = "zip" source_file = "lambda/slack_notification.py" output_path = "slack_notification.zip" } resource aws_lambda_function lambda_slack { filename = "slack_notification.zip" function_name = "tidb-api-to-slack" role = aws_iam_role.iam_for_lambda.arn handler = "slack_notification.lambda_handler" source_code_hash = data.archive_file.lambda_slack.output_base64sha256 runtime = "python3.9" #slack通知先 environment { variables = { HookURL = var.slack_webhook_url ChannelName = var.slack_channel_name } } } resource aws_lambda_permission lambda_slack_permission { action = "lambda:InvokeFunction" function_name = aws_lambda_function.lambda_slack.function_name principal = "sns.amazonaws.com" source_arn = aws_sns_topic.tidb_api_topic.arn } ##EventBridge Sheduler resource aws_scheduler_schedule eventbridge { name = "tidb-api-schedule" description = "TiDB API Notification" flexible_time_window { mode = "OFF" } schedule_expression = "cron(0 8 1,15 * ? *)" schedule_expression_timezone = "Asia/Tokyo" target { arn = aws_lambda_function.lambda_tidbapi.arn role_arn = aws_iam_role.iam_for_events.arn } } ##SNS(サブスクリプション) resource aws_sns_topic_subscription slack_subscription { topic_arn = aws_sns_topic.tidb_api_topic.arn protocol = "lambda" endpoint = aws_lambda_function.lambda_slack.arn } #============ リソース作成 end ============
デプロイ
Pythonのライブラリを取得した後に、Terraformを実行します。
$ pwd /xxxx/xxxx/tidb-api-lambda/lambda/tidb-api $ pip install -r requirements.txt --target \dist $ pwd /xxxx/xxxx/tidb-api-lambda $ terraform init $ terraform apply
動作確認
テストを実行するとSlackに通知が来ることが確認できました。
最後に
今回は、TiDB Cloud APIを使って、請求情報をEventBridge Scheduler+Lambda+SNSで定期通知してみたことを記事にしました。
どなたかの参考になると幸いです。